演讲

GTC 2021 秋 — Omniverse 与数字孪生

开场:从自动驾驶到 Avatar 再到气候,一切都用同一件工具

2021 年 11 月的 GTC,是 NVIDIA Omniverse 作为公司级战略平台正式"升段"的时刻。黄仁勋在这场演讲里做了一件很典型的事——把 NVIDIA 从自动驾驶到 Avatar、从机器人到数据中心、从企业 IT 到气候建模的所有业务,统一到"Omniverse 作为数字孪生仿真与协作平台"这一个叙事框架里

"你会看到一个不断出现的主题——Omniverse 如何被用来仿真仓库、工厂、工业系统、物理和生物系统、5G 边缘、机器人、自动驾驶汽车、甚至 avatar 的数字孪生。"(数字孪生

全栈、数据中心规模、开放平台

他再次强调 NVIDIA 的三芯片战略——GPU、CPU、DPU——以及覆盖从云到边缘的系统产品线:DGX、HGX、EGX、RTX、AGX。

NVIDIA 已经为 300 万开发者打造了 150 个加速库——从图形、AI 到科学和机器人。这次 GTC 又发布或更新了 65 个 SDK。

"NVIDIA 加速计算是一个全栈、数据中心规模、开放的平台。" 这是他反复强调的 NVIDIA 平台哲学。

同时他发布了 Quantum-2——"有史以来最先进的网络平台"——配合 BlueField-3 DPU,迎来"云原生超级计算"这个新范式。云计算的广泛可达性 + 超算的极致性能,两者在 Quantum-2 上首次汇合。

Omniverse Avatar:会看、会说、会听懂你的虚拟角色

GTC 2021 秋的第一个大发布是 Omniverse Avatar——帮助开发者创造能够看、说、理解自然语言意图的交互式角色。

"有了 Omniverse,我们现在拥有了创造新 3D 世界、或者建模我们物理世界的技术。"

他现场演示了几个项目:
- Project Tokkio:一个在餐厅自助点餐亭里工作的客服 avatar——能同时看见、理解并与两位顾客对话。
- Project Maxine:把计算机视觉、Riva 语音 AI、avatar 动画和图形结合成一个实时对话式 AI 机器人——Toy Jensen 就是 Maxine + Omniverse Avatar 的合体演示。
- Maxine 的另一段演示里:一位女士在嘈杂咖啡馆开视频会议,Maxine 实时去掉背景噪音;她说的话被同步转写、翻译成法语、德语、西班牙语;通过 Omniverse 生成的 avatar 用她自己的声音和语调把这些外语说出来。

这组演示在当时预示了 2024-2025 agentic AI 浪潮里"数字人"这条分支的雏形。

Omniverse Replicator:合成数据生成引擎

"为了帮开发者造出训练 AI 所需的海量数据,我们发布 Omniverse Replicator——一个合成数据生成引擎,用于训练深度神经网络。"

NVIDIA 发布了两个 Replicator:
- Omniverse Replicator for Isaac Sim:面向通用机器人。
- Omniverse Replicator for Drive Sim:面向自动驾驶。

这个想法——"把算力变成数据"——在 2021 年秋首次被系统化产品化,然后一路延伸到 2025 年的 Cosmos、GR00T Blueprint、Alpamayo。真实世界数据的稀缺是 物理 AI 的核心瓶颈;Replicator 是 NVIDIA 给出的结构性回答。

"Omniverse 从去年底发布以来,已经被 500 家公司的设计师下载了 70000 次。" Omniverse Enterprise 起价 9000 美元/年开始商业化。

AI 模型与系统:NeMo Megatron、Modulus、Triton 升级

这次 GTC 他把 NVIDIA 的 AI 产品线又向前推了一步:
- NeMo Megatron:训练超大语言模型的框架。"大语言模型会成为有史以来最主流的 HPC 应用。"
- DGL(Deep Graph Library):把图数据投影到深度神经网络框架里的 Python 包。
- NVIDIA Modulus:构建和训练"物理感知"的机器学习模型——它们会学习并遵守物理定律。
- Triton 升级:不仅能推理森林模型,还能做大语言模型的多 GPU 多节点推理。

以及三个新库:
- cuOPT:面向物流行业的组合优化。
- cuQuantum:加速量子计算研究。
- cuNumeric:加速 NumPy——面向 Python 生态里的科学家、数据科学家、ML/AI 研究员。

他还发布了 NVIDIA LaunchPad——与数据中心巨头 Equinix 合作,把 NVIDIA AI 预装到全球数据中心里,让企业可以快速试用。

机器人:Isaac 正式接入 ROS

"NVIDIA Isaac 机器人生态现在有超过 700 家公司和合作伙伴——过去 4 年增长了 5 倍。"

他宣布 Isaac 机器人平台现在可以轻松接入 ROS(Robot Operating System)——这是机器人应用领域最广泛使用的一套软件库和工具。这个集成是 NVIDIA 真正把自己嵌入到机器人工程师日常工作流的关键一步。

Isaac Sim(基于 Omniverse 构建)被他称为"有史以来最逼真的机器人仿真器"。他给出了一个很浓缩的目标:"我们的目标是——让机器人分不清自己究竟是在仿真里、还是在真实世界里。"

Isaac Sim Replicator 会自动标注生成的数据,并且用领域随机化引擎创造丰富、多样的训练数据集——几乎是今天 Cosmos 所做事情的原始版本。

自动驾驶:每一个会动的东西都会是自动的

"每一个会动的东西都将是自动的——要么完全自动、要么在很大程度上自动。到 2024 年,绝大多数新电动车都会有相当程度的 AV 能力。"

NVIDIA Drive Hyperion 8——NVIDIA 最新的完整硬件与软件架构。传感器套件包括 12 个摄像头、9 个雷达、12 个超声波传感器和 1 个前向激光雷达,全部由两颗 Orin SoC 处理。

Hyperion 8 里融合了多项新技术:
- Omniverse Replicator for Drive Sim(为自动驾驶做合成数据生成)
- 4D 感知
- 基于深度学习的多传感器融合
- 特征追踪
- 全新的规划引擎

"汽车的内部也会被彻底改写。Maxine 的技术会重新定义我们与汽车的交互方式。有了 Maxine,你的车会变成一位礼宾(concierge)。"

Earth-2:气候的数字孪生

演讲的尾声,黄仁勋宣布了当时最有野心的项目——Earth-2(又称 E-2)——NVIDIA 要建一个地球的数字孪生,用来仿真和预测气候变化。

"为了让 Earth-2 成为可能,我们发明的所有技术都会被用上。"

这句话把整场演讲的所有线索系在一起:
- 三芯片(GPU + CPU + DPU)——因为要模拟整个地球需要极限算力
- Quantum-2 网络——因为数据要在上万颗 GPU 之间高速流动
- Modulus 物理感知 ML——因为仿真必须遵守物理定律
- Omniverse + Replicator——因为这是一个数字孪生,要能可视化、要能生成假设场景
- AI + HPC 融合——因为只靠传统 HPC 达不到所需的尺度

Earth-2 这个项目后来作为 CUDA-X 里的一个实体库一直存在,到 GTC 2024、2025 被反复提及。GTC 2021 秋是它第一次在舞台上被宣布。

总结:一件工具,打通所有场景

如果说 GTC 2021 春是 NVIDIA 的"三芯片战略"成型的时刻,那 GTC 2021 秋就是"Omniverse 作为所有仿真场景的统一底座"这一战略定型的时刻。从那之后,每一届 GTC 你都会看到:自动驾驶用它训练,机器人用它训练,数字人用它演出,工厂用它规划,气候用它仿真——一件工具,打通所有场景。

这是 NVIDIA 最深的护城河之一:当你的每一位客户都需要仿真物理世界时,你也成了物理世界的一部分基础设施


原文出处:NVIDIA 官方 wrap-up(blogs.nvidia.com/blog/2021/11/09/nvidia-ceo-accelerated-computing-ai-omniverse-avatars-robots-gtc/)